Mayo 17, 2017
Se mide una variable en una población que viene de dos subpoblaciones normales independientes, esta variable se distribuye en cada subpoblación con media y varianza diferentes. El resultado de esto es una mixtura dada.
El objetivo es estimar la media y la varianza de las subpoblaciónes, asi como la probabilidad de que un individuo pertenezca a alguna de las mismas.
Es importante notar que no se tiene información de a que subpoblación pertenece cada individuo.
La densidad del módelo es:
\[ f(x;\mu_1,\mu_2,\sigma^2_1,\sigma^2_2,\pi)=\pi d(x;\mu_1,\sigma^2_1)+(1-\pi)d(x;\mu_2,\sigma^2_2) \]
Con esto la función de log-verosimilitud queda:
\[ l(x;\mu_1,\mu_2,\sigma^2_1,\sigma^2_2,\pi)= \]
\[\sum_{i=1}^n \ln(\pi d(x_i;\mu_1,\sigma^2_1)+(1-\pi)d(x_i;\mu_2,\sigma^2_2)) \]
Obteniendo un sistema a partir de las derivadas tenemos:
\[ \frac{dl}{d\pi}=\sum_{i=1}^n \frac{d(x_i;\mu_1,\sigma^2_1)-d(x_i;\mu_2,\sigma^2_2)}{\pi d(x;\mu_1,\sigma^2_1)+(1-\pi)d(x;\mu_2,\sigma^2_2)} \] \[ \frac{dl}{d\mu_k}=\sum_{i=1}^n \frac{(-1)^{k+1}((3-2k)\pi+k-1)\frac{d}{d\mu_k}d(x_i;\mu_k,\sigma^2_k)}{\pi d(x;\mu_1,\sigma^2_1)+(1-\pi)d(x;\mu_2,\sigma^2_2)} \]
\[ \frac{dl}{d\sigma^2_k}=\sum_{i=1}^n \frac{(-1)^{k+1}((3-2k)\pi+k-1) \frac{d}{d\sigma^2_k}d(x_i;\mu_k,\sigma^2_k)}{\pi d(x;\mu_1,\sigma^2_1)+(1-\pi)d(x;\mu_2,\sigma^2_2)} \]
Sea \(f(x)\) una función de la cúal deseamos encontrar una raiz, sea \(\alpha\) esta raiz. Si realizamos la expansión de Taylor en el punto \(x_i\)
\[ f(x)=f(x_i)+f'(x_i)(x-x_i)+O((x-x_i)^2) \]
Si evaluamos en \(\alpha\) e ignoramos el segundo termino,
\[ 0=f(\alpha)=f(x_i)+f'(x_i)(\alpha-x_i) \] Así \[ \alpha=x_i-\frac{f(x_i)}{f'(x_i)} \]
Este \(\alpha\) que estamos proponiendo no es exactamente la raiz (ya que aproximamos al descartar los terminos de orden 2), pero esperamos que este más cerca de la raiz, el método entonces esta caracterizado por la sucesión:
\[ x_{i+1}=x_i-\frac{f(x_i)}{f'(x_i)} \]
Esto se generaliza a funciones \(f:\mathbb{R^n}\to\mathbb{R^m}\) (Método de Newton-Rhapson) con
\[ \vec{x_{i+1}}=\vec{x_i}-J(\vec{x_i})^{-1}f(\vec{x_i}) \]
func=function(x){(x^3-6*x^2+11*x-6)*1}
dfunc=function(x){(3*x^2-12*x+11)*1}
valor=list(-8)
for(i in 2:10){
valor[[i]]=valor[[i-1]]-func(valor[[i-1]])/dfunc(valor[[i-1]])
}
data.frame(unlist(valor))
## unlist.valor. ## 1 -8.0000000 ## 2 -4.6889632 ## 3 -2.4927804 ## 4 -1.0454795 ## 5 -0.1060077 ## 6 0.4819019 ## 7 0.8168003 ## 8 0.9646914 ## 9 0.9982722 ## 10 0.9999955
En el ejemplo inicial tenemos una variable que no fue observada, de la cual solo podemos conjeturar su valor.
En el caso especial de una mixtura (ejemplo inicial).
\[ \gamma_i=\frac{\pi \Phi_{\mu_2}(y_i)}{\pi \Phi_{\mu_2}(y_i)+\pi \Phi_{\mu_1}(y_i)} \]
\[ \pi=\bar \gamma_i \]
Paso de Maximización: Obtenga el estimador maximo verosimil para \(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2\). Que son los estimadores usuales tomando como pesos las probabilidades \(\gamma_i\) calculadas en el paso anterior.
Repita los pasos dos y tres hasta la convergencia
Se utilizaron números aleatorios entre 0 y 10 para inicializar las medias, las varianzas se iniciaron cada una con la mitad de la varianza muestral.
Se actualiza la probabilidad de que cada punto pertenezca a cada poblacion (es decir se calcula \(\gamma_i\))
Con esta información se estiman de nuevo medias y varianzas usando el estimador maximo verosimil.
Repetir hasta la convergencia
